Không rõ về thời điểm Thác Bạt Dư sinh ra, song ông là người nhỏ tuổi nhất trong số sáu người con trai của Thái Vũ Đế còn sống qua tuổi thơ ấu. Mẹ ông là Uất Cửu Lư thị, bà là em gái của Sắc Liên khả hãn Uất Cửu Lư Ngô Đế của Nhu Nhiên, việc bà trở thành vợ của Thái Vũ Đế nằm trong sự hòa giải hòa bình-hôn nhân giữa hai bên vào năm 434, theo đó Thái Vũ Đế kết hôn với bà trong khi gả một em gái hay em họ là Tây Hải công chúa cho Uất Cửu Lư Ngô Đề. Thác Bạt Dư được phong làm Ngô vương vào năm 442, và đến năm 450, khi phụ hoàng của ông đang tiến hành phản công sau một cuộc tấn công lớn của Lưu Tống, còn Thái tử Hoảng đang phòng thủ biên giới phương Bắc nhằm chống lại một cuộc tấn công có thể xảy ra từ Nhu Nhiên, Ngô vương đã được giao nhiệm vụ phụ trách trấn giữ kinh đô Bình Thành (平城, nay thuộc Đại Đồng, Sơn Tây), một dấu hiệu cho thấy rằng Thái Vũ Đế tin tưởng vào khả năng của Thác Bạt Dư. Nắm 452, ông được ban tước hiệu mới là Nam An vương.

Tại một thời điểm nào đó vào cuối thời gian trị vì của Thái Vũ Đế, Thác Bạt Dư trở nên thân mật với hoạn quan Tông Ái, người mà vào năm 451 đã vu cáo các thân cận của Thái tử Hoảng là Cừu Ni Đạo Thịnh (仇尼道盛) và Nhâm Bình Thành (任平城) phạm tội, khiến cho nhiều người phục tùng cho Thái tử bị hành hình còn bản thân Thái tử Hoàng lâm bệnh trong sợ hãi và cuối cùng đã qua đời. Đến mùa xuân năm 452, lo sợ rằng Thái Vũ Đế sẽ trừng phạt mình, Tông Ái đã ám sát Thái Vũ Đế. Các quan ban đầu đã không công bố về cái chết của Thái Vũ Đế, họ tranh cãi xem nên lập con trai cả của Thái tử Hoảng là Cao Dương vương Thác Bạt Tuấn hay người con trai lớn tuổi nhất còn sống của Thái Vũ Đế là Đông Bình vương Thác Bạt Hàn (拓拔翰) lên ngôi. Bản thân Tông Ái có quan hệ không tốt với Thác Bạt Hàn, do đó ông ta đã triệu Thác Bạt Dư đến cung và giả mạo một chiếu chỉ của Hách Liên Hoàng hậu (chính thất của Thái Vũ Đế) để phục kích và xử tử tất cả các quan ủng hộ Thác Bạt Tuấn hay Thác Bạt Hàn. Sau đó, Tông Ái xử tử Thác Bạt Hàn và lập Thác Bạt Dư làm hoàng đế.